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Дискриминантный анализ 
по независимым признакам 
в условиях структурной неопределенности 


Рассмотрена задача поиска дискриминантной функции оптимальной сложности в условиях неза- 
висимых признаков. Рассмотрен способ сравнения дискриминантных функций, который основан на 
разбиении наблюдений на обучающие и проверочные подвыборки: обучающие подвыборки используются 
для оценивания коэффициентов дискриминантной функции, а проверочные подвыборки — для оценивания 
ее качества классификации. В данной статье общие результаты, полученные автором, применены для 
частного случая, когда признаки статистически независимы. 


Решение задачи дискриминантного анализа в условиях структурной неопределен- 
ности — с определением оптимального множества признаков — предполагает принятие 
какого-либо способа сравнения дискриминантных функций, построенных на различ- 
ных множествах признаков. 

Популярным в приложениях является способ сравнения, основанный на 
разбиении наблюдений на обучающие и проверочные подвыборки: обучающие под- 
выборки используются для оценивания коэффициентов дискриминантной функции, 
а проверочные подвыборки — для оценивания ее качества классификации. Этот спо- 
соб традиционно трактуется как эвристический прием, хотя факт существования для 
него оптимального множества признаков неоднократно подтвержден методом статисти- 
ческих испытаний [1-7]. В рамках метода группового учета аргументов (МГУА) для 
этого способа аналитически исследован критерий качества для сравнения дискрими- 
нантных функций, построенных на различных множествах признаков [8-11]. В дан- 
ной статье результаты, полученные в [8-11], применены для частного случая, когда 
признаки статистически независимы. 

Для решения задачи дискриминантного анализа в условиях структурной 
неопределенности кроме способа сравнения дискриминантных функций требуется 
указать алгоритм генерирования наборов признаков, включаемых в дискрими- 
нантную функцию. Предполагается, что в качестве такового принят полный перебор 
всех возможных сочетаний признаков. 


Постановка задачи 
Предположим, что 
Х, = [Ха „Хы › +. Хи, | (1) 


— выборка и, независимых наблюдений т-мерного случайного вектора з, из 


генеральной совокупности В,, имеющего т-мерное нормальное распределение с 
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неизвестным математическим ожиданием ч, и неизвестной невырожденной кова- 
риационной матрицей У; 
з,-М „(а Ух), (2) 
где К — номер / или П генеральных совокупностей А и Ру, причем ч, #чу. 
Согласно предположению (2) для наблюдений (1) выполняется 
чо ЕЫБ ЕЮ (3) 


где о;-М№(0„,Ух) — независимые случайные векторы, распределенные по т-мерному 
нормальному закону с нулевым математическим ожиданием и ковариационной 
матрицей Ух; 


Е{о.}=0,; Е{озо}=Ух; 1 2,...0,; К=ЫБ (4) 
Е об: Обь: Ща ВЮ (5) 
о (6) 


где 0, - нулевой т -мерный вектор-столбец и О’„„ — нулевая (тхт) -матрица, 
Е{-} — знак математического ожидания. 
Предположим, что априорные вероятности появления наблюдений из Р; и Ру 


известны и соответственно равны ру и ри, причем р +ри=1. 


Предположим, что введены цены ошибочных классификаций: с(1/П) — цена 
ошибочной классификации наблюдения из совокупности Ру в качестве наблюдения 
из Ру, а с(И/Г) -— цена ошибочной классификации наблюдения из совокупности Ру 
в качестве наблюдения из Ру. Правильная классификация не оценивается. 


Линейная дискриминантная функция, при которой в указанных предположе- 
ниях ожидаемая ошибка классификации минимальна, имеет вид 


Вх 'д-0,5(ч/-+ч, )'д-ас, | (7) 


где параметр со определяется ценами ошибочных классификаций и априорными 


вероятностями появления наблюдений 
в =с(Г/И)пи(с(И/ Гук", (8) 


а коэффициенты дискриминантной функции д определяются параметрами генераль- 
ных совокупностей 


Шхл! 
д=Ух (ч,-чи). (9) 
Решающее правило формулируется следующим образом: если для наблюдения 
* * > * 
х выполняется Ю(х)>0, то хе В, — оно относится к первой группе; если К(х’)<0, 


то х ЕР, — оно относится ко второй группе. 


Получение по выборочным наблюдениям (1) - (3) оценок коэффициентов д в 
дискриминантной функции (7) с последующим статистическим анализом является 
задачей дискриминантного анализа, поставленной в узком смысле. 

Фишеровской оценкой д является оценка 


4=$(хи-хи), (10) 
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где хги хи — оценки математических ожиданий ЧИ Ч: 


и п = В 
—_ = т. -1 ы 
х ‚=(@,) ). Хь, х и =) У Хв; (11) 
т 1 
матрица 5 — оценка ковариационной матрицы Ух 
з 1 т и 
5=(п, пи -2) [ах ЧХихи |, (12) 
ах, их, - (тхп)-и (тхпи)-матрицы, составленные из отклонений наблюдений 


(Г) и (3) от оценок хг и хи соответственно 


а о" (13) 


Бат 


РЕ ‚Хин 7Хи |]. (14) 


Оценка (10) является решением задачи максимизации функционала 


вы: Е 4 


Ц теа ® тах (15) 
при ограничении 
(Хх -хнуа 
=]. 16 
9$ 4 Но 


Значение функционала (15) при оптимальном значении 4=5” (х!-хи) — 


2-х 1-х п)'5*(х 1-х) (17) 
является выборочной оценкой расстояния Махаланобиса 
фк =(ч "Чип у Ух(ч т -Чи). (18) 
Для математического ожидания величины р 2 выполняется: 
Е ИЕ (19) 
г-т-1 


где г=и:+пц - 2, с" = (иг! Ни) 
Пусть Х- множество т компонент векторов 3, и зи, над которыми 


о о о 
проведены наблюдения; Х- множество т (1<т < т) компонент векторов 3, и З3п, 


(о) о о 
для математических ожиданий которых выполнено: ч у Чи» 71=12,..,т, причем 


[о] [о] 
множество Х неизвестно, известно лишь, что ХС Хх. 


Если априорно неизвестно, какие именно компоненты из множества Х следует 
включать в дискриминантную функцию, то говорят о задаче дискриминантного 
анализа, поставленной в широком смысле. В этом случае по наблюдениям Х, и Х; 
требуется определить множество компонент, которые необходимо включать в 
дискриминантную функцию, и оценить коэффициенты линейной дискриминантной 
функции в пространстве этих компонент. 
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Известно [5-7], что оценка расстояния Махаланобиса (17) не может быть 
использована для решения задачи дискриминантного анализа, поставленной в 
широком смысле, поскольку эта оценка увеличивается при добавлении новых 
компонент в дискриминантную функцию (в решающее правило). Распространенным 
приемом в этом случае является назначение «порога» для величины приращения 
оценки расстояния Махаланобиса (17) при добавлении новой компоненты в 
дискриминантную функцию [12], [13]. Но такое назначение привносит субъектив- 
ность в получаемое решение. 

Воспользуемся результатами работ [8-11] при дополнительном предполо- 
жении о том, что признаки статистически независимы, т.е. ковариационная матрица 
Ух в (2), (4), (9), (18) имеет диагональный вид. 


1. Критерий качества дискриминантных функций 
для способа с разбиением наблюдений на обучающие 
и проверочные подвыборки 


Пусть на этапе с номером 5 (5 =1,2,..., т) алгоритма полного перебора 
сочетаний признаков в дискриминантную функцию может быть включено только 5 
компонент из множества Х’ , составляющих текущее анализируемое множество Г. 
Пусть множеству компонент Г соответствуют: 1) У и У, - (5хт)-и (5хпи)- 
матрицы наблюдений из генеральных совокупностей Аи Ру; 2) нин, - (5х1 - 
векторы математических ожиданий для наблюдений из Ри р;; 3) У,- ковариа- 
ционная (5х5)-матрица. Рассмотрим оценку расстояния Махаланобиса, рассчиты- 


ваемую с учетом разбиения наблюдений на обучающие и проверочные подвыборки 
^Т а к те — ^ 
т 
ЧА (Ув Ушв ) (Ув Ушв ) ЧА 
^Т ^ у 


Чл $, Чл 


Р/ь (У) = 


(20) 


В (20) ($3ЧП -вектор 4 „ представляет собой рассчитанную на подвыборке А фише- 


ровскую оценку коэффициентов дискриминантной функции, которая построена в 
пространстве компонент множества И 


да = И НА Уна ), (21) 


где (5х1) -векторы У и Унл — оценки математических ожиданий н; и ну 


ПА 


у = (и) У, КЕ; (22) 
Н 


(5х5) -матрица $, — несмещенная оценка ковариационной матрицы У’ 
Е -1 т т 
$ = (и -Ил- 2) [МдУ Уна Уи |. (23) 


В (23) у) (=) - (5хп,)-матрицы, составленные из отклонений наблюдений 
У, компонент множества Г от оценок Укл 


И дем ем ма (24) 
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В (20) (5х1) -векторы Ув и Ув вычисляются аналогично (22), а (5х5) -матрица $, — 
аналогично (23) - (24); 14 и Пил, Шв и пив - объемы обучающих и проверочных 
подвыборок соответственно такие, что выполняется 
пд + ПвВЕ=Йр и ПА + ПИВЕПГ: 
Используя (21), для (20) получаем 


(Ул - УПА 9$ ( Увв - Упв )( Увв - Упв 9$ ( УтА - УПА ) 


Рав (У) = (25) 


(Ул - УПА 7$“ к $ (А - УПА ) 
Для математического ожидания случайной величины (25) с учетом результатов [9], 
ПП выполняется 


2 —1 
т, [8-(1-1 / (#-5)| с и #-1] #-5 
Ве, 100 
ТРУ 36) Си | 
где 
= Аа 1 ай 1 
п=Им +пА-2, сд =(Т 4 +пуд), Св =(тв +Пув); (27) 


ф, = (н-н,)'Уу(н-ны) — расстояние Махаланобиса для множества компонент И. 


2. Исследование математического ожидания 
критерия качества дискриминантной функции 
в зависимости от состава признаков 


Покажем, что критерий качества дискриминантной функции (20) позволяет 
решать задачу дискриминантного анализа, поставленную в широком смысле. 
Покажем существование оптимального множества признаков для способа с 
разбиением наблюдений на обучающие и проверочные подвыборки и сформулируем 
условия, при которых оптимальная дискриминантная функция упрощается по числу 
входящих в нее признаков. С этой целью исследуем зависимость величины тр в(Г) 
от состава множества Г. 

Определение 1. Оптимальным множеством признаков называется множе- 
ство Горт: 


Гот = аге тах Е{Р4ь(}}. (28) 
Гех 
Определение 2. Оптимальной по количеству и составу признаков называется 
фишеровская дискриминантная функция, построенная на множестве Горт. 


Разобьем множество статистически независимых компонент Х на непересекаю- 
щиеся подмножества 


о —м 
МЫ, (29) 
о [о] 
где Х=@ (© - пустое множество) — множество компонент (т - их число), для 
о о о ^^ 
математических ожиданий которых выполнено чу, *чиу,й =1,2...,т; К — мно- 


жество компонент, для математических ожиданий которых выполнено 6, =бу,, 


й=1,2....[ где 7 -— их число. 
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Рассмотрим величину 


[®) 
ДО’) = Е{22в(Х)}-Е{Р4ь (т) (30) 
ДЛЯ двух случаев состава множества компонент д $ 


о 
Пусть в первом случае множество Г таково, что выполняется: Г = ХИТ, где 
ТЕР (в дискриминантную функцию включен избыточный признак). 
Учитывая (26) — (27), для величины Д/(/) получаем 


д.0) = Е (2, (ХЕХ = 


[е) [е) 
ть [ш-(и-П/(и-и 1 ся р 
Не. Х Е Е 
=| Фо 5 ГСВ 5 Я 
ы 12 +тсл п-т| 1 
Ж 
(31) 
2 [®) о —1 о 
<2 ту [(т+П-(п-П/(и-т- 1] сл Ре И пот: 
й Я я - п-1 
ху +тс4д п-т-1 


В соответствии с леммой 2 в работах [8-10] для расстояний Махаланобиса 
о 


введенных в (29) множеств Г и Х выполняется: 52 = 


о’ 


х 
С учетом этого, ограничившись точностью (1/и), пренебрегая членами порядка 


(1/ =?) ‚ получаем 


(12) + (42) нс 
ДГ) = ` х х 


| - >0. (32) 
й (2 +т 1) (<> + (т- Пе) 
х х 


Из положительной определенности величины Д!(Г) в (32) следует, что 
добавление признака Ге А не улучшает качество дискриминантной функции по 
рассматриваемому критерию. 

о (о) 

Пусть во втором случае множество Г’ таково, что выполняется: Х =И 0х, где 
о о 
хЕХ (в дискриминантной функции пропущен один признак). 


Учитывая (26) - (27), для величины Дъ(Г) получаем 


Д.И) = Е(Р2,(Х)}- ЕР? (= 


р а 
: То [1 (И -1)/(И-т)] сл Я ны 
= р Е Св . й == 
ы 12 +тсл п-т } 
Хх 


[о о 
2 57 [(т-П-(и-1/(и-т-+1] а я ИЕ |и-+1 
Си Св . 


АЕ > 1 
ху +(т-П сд п-т-1 
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В соответствии с леммой 3 в работах [8-10] для расстояний Махаланобиса 
о 


введенных в (29) множеств Г и Х выполняется соотношение: 12, == — 7, где 
о 
у? >0 -— составляющая расстояния Махаланобиса, обусловленная пропущенным 


признаком. 
С учетом этого, ограничившись точностью (1/и), пренебрегая членами 


порядка (1/ и?) ‚ получаем 


Д.(и) = - НР 2 (а 2) 


и - 02 те)? 9?) + тре < ХХХ 
Хх Хх 
(34) 


о о о о [®) 
+725 (и-т- 142 12) +7 (я -тутед ар -7) +7 -т-1 (т- Вед 
Хх Хх Хх Хх 


Величина Д›(/) может быть как положительной, так и отрицательной. 


о 
Если величина Д›(/) положительна, то признак х необходимо включать в 


о 
дискриминантную функцию. Если величина Д›(/) отрицательна, то признак х не 


следует включать в дискриминантную функцию, поскольку это включение приведет 
о о 
к уменьшению критерия РИ ‚ Т.е. добавление признака хе Хх не улучшает качество 


дискриминантной функции по рассматриваемому критерию. 
Получим условие отрицательности Д.›(Г). Величина ДЬ›(Г) отрицательна, 
если отрицателен числитель (34). Поделив числитель на положительную величину 


т? (2. № у?) ‚ для условия отрицательности Д. (Г) получаем: 


хх 
оо 1 (о) [6] 1 
о <> зы Е а вы = 
УР (п-т + -ттея , т Оби Шел | «12 (35) 
То Со и Хх 
Хх Хх 


Условие (35) представляет собой условие редукции (упрощения) дискрими- 
нантной функции, оптимальной по количеству и составу признаков. 
о 
2 
Это условие можно упростить, если принять: т. =12, т=б, а для 
р 
—1 1 =: 
Й = ПА + ППА -2 и СА = (ит +пА) принять, ЧТО Пл ® Пипа, Ид + ИИА =Пд. При 
выполнении этих предположений второе и третье слагаемые в квадратных скобках 
(35) приближенно равны единице, и условие (35) принимает вид: 


и 


У. (36) 

(па -т-1) 
Опыт практических применений и тестовые исследования способа [© разбие- 
нием наблюдений на обучающие и проверочные подвыборки, проведенные методом 


статистических испытаний [1-7], показывают: 1) с увеличением объема выборок 
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наблюдений увеличивается количество признаков во множестве, на котором 
достигается наилучшее качество распознавания, а с уменьшением объема выборок 
наблюдений количество признаков в таком множестве уменьшается, 2) с увели- 


2 
чением расстояния Махаланобиса т х между генеральными совокупностями (из 


которых получены выборки наблюдений) увеличивается количество признаков во 
множестве, на котором достигается наилучшее качество распознавания, а с умень- 
шением этого расстояния количество признаков в таком множестве уменьшается. 
Полученные в статье результаты объясняют эти эмпирически установленные 
закономерности. 
Отметим, что в асимптотике при пл-> © (и >> со) условие редукции не 


2 [о] 
выполняется, поскольку г’>0,т.е. орт =Х. 


Выводы 


В статье исследован и аналитически обоснован способ сравнения дискрими- 
нантных функций, основанный на разбиении выборок наблюдений на обучающие и 
проверочные подвыборки в случае статистически независимых признаков. Несмотря 
на успешное применение этого способа на практике и неоднократное подтверждение 
его работоспособности методом статистических испытаний, он традиционно 
считался эвристическим приёмом. 

Для этого способа получено условие существования оптимального множества 
признаков, зависящих от параметров генеральных совокупностей и объемов выбо- 
рок, и выявлены закономерности упрощения оптимальной дискриминантной функ- 
ции при уменьшении объемов выборок и при уменьшении расстояния Махаланобиса 
между генеральными совокупностями. 

Показано, что в условиях структурной неопределенности и отсутствия априор- 
ных оценок дисперсий независимых признаков исследованный способ позволяет 
решать задачу поиска дискриминантной функции оптимальной сложности. 
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О.П. Саричев 

Дискримшантний анал! за незалежними ознаками в умовах структурно! невизначеностт 
Розглянуто задачу пошуку дискримнантно! функцй оптимально! складност! в умовах незалежних ознак. 
Розглянуто спосб порйвняння дискримнантних функщй, що заснований на розбивщ! спостережень на 
навчальн! 1 переврн! шдвибрки: навчальн! шдвибрки використовуються для ошнювання коефицентв 
дискримнантно! функцй, а переврн! шдвибрки — для ошнювання Й якост! класифкаци. У дашй статт! 
загальн! результати, як! отриман! автором, застосован! для часткового випадку, коли ознаки статистично 
незалежни. 


А.Р. багусйеу 

'Тве Б5сттаю{ Апа[у$15 у шдерепдет Еибиге$ ш Зегисеига! Опсенайуу Соп@ 101$ 

Тве ргоМет о зеагсВ оЁ а 415сгиптапе РапсНоп оЁ орйтит сошрй!ехйу ш сопдюоп$ оЁ ш4ерепаепе 
ВКибигез 15 сопз1аеге4. Сотрапзоп оЁ апаШу о 415сгиитапе КапсНоп$ 1$ Базе оп рагийоп оЁ пиа1 затре 
оЁ Фе даа оп Театише ап4 сБескте рай: оп [еагите забзатр/е фе соеЁЯс1ет{$ оЁ 1зсгиптате ВапсНоп$ 
езитае, ап4 оп сБесКте забзатр!е е диау оЁ 415сгиитапе РапсНоп$ езитае. ш Фе этуеп агисе фе 
сепега] геи оМашеа Бу Фе айфог, аге аррПе4 юг а рагасшаг сазе, \уБеп фе Виаге$ аге збайзЯсаПу 
шаерепаеги. 


Статья поступила в редакцию 21.07.2008. 
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